Công việc xây dựng bắt đầu vào năm 1331 với bức tường và phần cổng nghĩa trang. Tổng cộng nó đã trải qua 13 lần tu bổ và mở rộng. Đến thế kỷ XVIII, bức tường nghĩa trang có chu vi lên tới 7,5 km bao quanh diện tích 3,6 km vuông. Trong khoảng không gian này là mộ của hơn 100.000 con cháu Khổng Tử đã được chôn cất trong suốt 2000 năm lịch sử. Các ngôi mộ xưa nhất có niên đại từ thời nhà Chu trong khi gần đây nhất là đời con cháu thế hệ thứ 76 và 78 họ Khổng.

Tháng 11 năm 1966, nghĩa trang đã bị thiệt hại nghiêm trọng trong cuộc Cách mạng Văn hóa bởi những Hồng vệ binh của Đại học Sư phạm Bắc Kinh.[1][2] Và thi hài của Diễn Thánh Công thế hệ 76 đã bị đào lên và treo lên trên cây nhằm thực hiện chiến dịch Phá tứ cựu của cuộc Cách mạng Văn hóa.[3]